#Ilya Sutskever

1个月前

欢迎阅读第 74 期 AI 精选文章推荐。本周 Ilya Sutskever 接受了 Dwarkesh Patel 的深度访谈，宣告 AI 行业正从扩展时代迈入研究时代。当所有人都在追问如何投入更多算力时，Ilya 给出了一个反直觉的答案：现在的瓶颈不是 GPU，而是想法。他指出当前模型最根本的问题是泛化能力不足，那些能在竞赛中拿高分的 AI，依然会在简单任务中陷入死循环。这让我想到一个老问题：我们真正需要的，到底是更大的规模，还是更深的理解？本周 Anthropic 发布了 Claude Opus 4.5，在内部工程招聘测试中得分超越人类，Agent 能力和视觉理解都有显著提升。我也趁此机会用它重新审视了的设计和架构，完成了网站的静态化处理，去掉了一些不必要的交互元素，回到「聚焦阅读，减少干扰」的初心。在线阅读完整内容：

#AI #Ilya Sutskever #研究时代 #Claude Opus 4.5 #泛化能力

1个月前

Andrej Karpathy 和 Ilya Sutskever 两位的播客，看完直观感受区别很大，不管是语气语速和表达方式这种表面感受，还是他们的观点和关注点等，虽然从我外行小白的视角，没办法参透两位大神的观点是否异曲同工 😁 另外，总感觉 Ilya 有很多更深层次的思考，可能涉及到生物、脑神经甚至伦理宗教等，都没有展开说，他有些非常深邃的思考，可能就是那种脱离 AI 行业之外对未来更深的思考吧(我自己yy的，因为我肯定不懂他的思考🤔)

#AI浪潮：重塑就业，风险暗涌？· 140 条信息

#Andrej Karpathy #Ilya Sutskever #AI #深度思考 #未来

1个月前

花了一下午时间把 OpenAI 联合创始人、前首席科学家 IIya 最新访谈整理完了。我学习了之后，去掉了口语、重复和广告部分，保留了 Ilya 的主要观点和细节，用问答形式呈现出来。在这篇访谈里，IIya 聊了 AI 发展的“平静”与渗透、大模型在评测和现实中的落差（像竞赛选手刷题优秀却难在现实中解决问题），还提到人类学习效率背后的价值函数与情绪，Scaling Law 开始失去魔力，AI 从规模主导回到研究主导的趋势等等。他创立的 SSI 不拼大算力，专注用高效算力做新范式研究，认为超智能部署会是渐进式的，而可靠泛化是对齐核心。最后 IIya 指出：长期共存可能需要人机深度融合，判断研究方向要看大脑启发、美学简洁和信念支撑～访谈背景嘉宾：IIya Sutskever（伊尔亚·苏茨克维），以色列裔加拿大计算机科学家，在深度学习和通用人工智能方向做出重要贡献。OpenAI 联合创始人、前首席科学家，目前创立并担任 Safe Superintelligence Inc.（SSI）CEO。主持人：Dwarkesh（D）。

#AI浪潮：重塑就业，风险暗涌？· 140 条信息

#OpenAI #Ilya Sutskever #AI发展 #超智能 #人机融合

1个月前

Ilya Sutskever视频时间线： 0:00:00：模型锯齿性 0:09:39：情绪与价值函数 0:18:49：我们在扩展什么 0:25:13：人类为何泛化更好 0:35:45 ：通向超级智能 0:46:47：部署中学习 0:55:07 ：对齐 1:18:13：研究时代公司 1:29:23：自博弈与多智能体 1:32:42：研究品味

#AI浪潮：重塑就业，风险暗涌？· 140 条信息

#Ilya Sutskever #模型锯齿性 #情绪与价值函数 #通向超级智能 #对齐

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

1个月前

Ilya一语点醒AGI梦中人： we are back to the age of research.

#AI浪潮：重塑就业，风险暗涌？· 140 条信息

#Ilya Sutskever #AGI #AI Research #back to research age

1个月前

把 Ilya 的播客整理成文章了，他的许多回答都符合直觉，但又细思极恐（两张截图结合起来看，总觉得他发现了些什么）。 Ilya Sutskever：AI 研究、泛化与未来之路

#AI浪潮：重塑就业，风险暗涌？· 140 条信息

#Ilya Sutskever #AI研究 #播客 #泛化 #未来

1个月前

面对 Scaling 和 Research，作为投资人你会选哪个？这是 Ilya 做客 Dwarkesh Patel 播客最核心的话题（全网都是 AI 总结，我写点不一样的）。Scaling 有一个无法拒绝的优点：投资逻辑简单、风险可控；你只要相信那条曲线 —— 更多算力，更多数据，就会有更好的模型。“买更多 GPU ”比“押注一群 Researcher 可能十试九败”的决策要安心得多。。。 “真的有人相信，再大 100 倍规模，一切就会被彻底改变吗？我不这么认为。” Ilya 的结论是：“我们要回到了研究时代，只不过这次手上有了大电脑。” 这也是 SSI 成立的初衷之一，接下来真正值得投入的，不是买多少 GPU，而是能否发明新的学习方式、新的价值函数、新的泛化结构。三十亿美金的融资，足够 SSI 烧 5-10 年了，这起步可比 OpenAI 牛逼很多！ Ilya 是出了名的口风紧，但他这次分享的观点，在很多角度与 Richard Sutton 的研究有很多异曲同工。Sutton 教授 Dwarkesh 的播客里也分享过：LLM 不会在交互过程中持续学习，所以无论怎么 Scale，都不够，必须有新架构支持。在 Alberta Plan 里，他把未来十年 AI 的核心研究压在：Continual Learning（持续学习）、Meta-learning（学会如何学习）、Agent 在环境中长期交互自我学习，通过研究找到能更好利用算力的新架构和新学习方式，这也是 Google 长期支持他的研究方向。在《Reward is Enough》一文中，Silver + Sutton 提出一个假说：“最大化累积 Reward 这个通用目标，在原则上足以产生我们在自然与 AI 中看到的大多数能力。” 简单来说：我们不需要给 Agent 手工规定所有子目标；只要有一个合适的 Reward 信号 + 足够强的学习能力，感知、记忆、规划、社交等能力会作为“为了拿 Reward 的工具”自然长出来。 Ilya 在访谈中举了一个经典的病人案例：情绪中枢损伤后，智力尚在，但日常决策能力完全崩溃。情绪是人类大脑里一种粗糙但强力的“价值函数实现方式”，它给复杂世界提供一个简单的“好 / 坏”近似，使我们可以在有限时间做出决策。做 SSI 的另一初衷，就是 Ilya 不满足于“让 AI 不作恶”这种低标准，他在思考：有没有可能设计一种结构，让 AI 真正“在意”有感知的生命（sentient life），而不是只是冷冰冰地遵循规则。他提出一个直觉：人类对他人的同情、共情，很可能来自这样一个事实—— 我们用“建模自己”的那套神经回路，去建模别人的状态。那些高层次的“社会在意”（比如尊重、羞耻、道德感），很可能是进化在相对短的时间窗口里嵌入的。这说明：在一个复杂系统里，把高层次价值“硬编码”进去，并不必然不可能 —— 只是我们还不知道怎么做而已。Ilya 最终想要的，可能正如 Hinton 教授最近想明白的，让 AI 超级安全的方法就是把对人类的“母爱”给编码进去，就像大自然给我们的基因编码那样。。。最后，超强系统必须通过渐进式部署来学习与对齐，而不是直接扔一个成品版的“上帝”给世人。这个新的超级智能就象一个 15 岁的少年，非常聪明，但什么都不懂；你不会把他一下子丢到外科手术台或外交谈判桌前；你会让他一步步接触世界，在真实反馈中学习与成长。对 AI 来说，这也是一个“持续试错 + 渐进开放”的过程，而不是一夜之间发布一个“完美终极系统”。 Ilya 对 SSI 所做事情的愿景： - 如何让模型的泛化真正变好； - 如何让系统在持续学习中保持安全与稳定； - 如何设计一种架构，使得“理解世界”的方式与人类更加相容；在未来 5 – 20 年内，能像人类一样学习，并超越人类。这个时间线和 Deepmind 的 CEO Demis 预测的基本一样，我们还需 5 - 15 年才能实现人类这样的通用智能，这期间还需要至少一到两个研究范式的突破！站在投资视角，大语言模型的范式红利才刚开始，通过工程化和应用场景的普及，会推动软件、工作和社会结构的转型，这需要巨大的算力作支撑；但在多样化的新范式研究上，要寻找潜在的类似 Transformer 架构这样的突破，它们可能来自 SSI、Thinking Machine Lab、Anthropic 等前沿 AI 实验室，也极有可能是 Google，但 OpenAI 这就得看 Sam Altman 的野望在什么地方了。。。

#AI浪潮：重塑就业，风险暗涌？· 140 条信息

#AI安全 #Ilya Sutskever #持续学习 #价值函数 #AI伦理

1个月前

Ilya：扩展时代已经结束了，研究的时代已经开始 Ilya Sutskever 大概得有一年多没参加播客访谈了，自从 OpenAI 宫斗离职创办 SSI（Safe Superintelligence）后之后就很少露面了，最近，他在 Dwarkesh Patel 的播客中进行了一场长达一个半小时的深度对谈。Ilya 毕竟是 Ilya，他不像 Sam Altman 整天满嘴跑火车，只是为了卖货，访谈里面有很多干货，我猜一些观点甚至会影响以后 AI 在研发和投资上的走向。一个多小时的内容很难说几句话就总结完，还是按照话题挨个整理一下。【1】为什么 AI 能在考试中碾压人类，却修不好一个简单的 bug？ Ilya 在访谈里抛出一个很多人都遇到过也困惑过的现象：现在的模型在各种评分上表现惊艳，但用起来却远远跟不上能力曲线。更诡异的是，你让它改个 bug，它改完引入新 bug；你指出新 bug，它道歉后又改回旧 bug。两个 bug 来回切换，像在打乒乓球。 Ilya 使用一个类比来解释这个问题的：想象两个学生。第一个立志成为顶级竞赛程序员，刷了一万小时题，背熟所有算法模板，练到条件反射般精准。第二个觉得竞赛挺酷，随便练了一百小时，也拿了不错的成绩。哪个人未来职业发展更好？大概率是第二个。 Ilya 说，现在的模型比第一个学生还极端。训练时把所有竞赛题都刷了，还做了数据增强生成更多变体，一遍遍强化。结果就是：所有算法技巧都刻在指尖，但这种准备程度本身就限制了泛化能力。这个类比点破了一件事：能力和泛化是两回事。刷题刷到极致，可能恰恰堵死了触类旁通的路。【2】真正的 reward hacking（奖励作弊）是人类研究员问题出在哪？Ilya 认为是训练数据的选择逻辑变了。预训练时代很简单：数据越多越好，什么都往里塞，不用挑。但 RL（强化学习）时代不一样了。你得选择做什么强化训练、用什么环境、优化什么目标。于是一个微妙的循环出现了：研究员想让发布时的 benchmark 得分数字好看，就设计能提升这些指标的 RL 训练。模型变得越来越会考试，但考试能力和真实世界能力之间的鸿沟被放大了。讽刺的是，真正在奖励作弊的不是模型，是设计训练的人在不知不觉中过度关注了考试成绩。【3】为什么人类学东西这么快说到这里就要问一个更深的问题：为什么人类学东西这么快，而且这么稳？ Ilya 提到一个特别有意思的医学案例：有个人因为脑损伤，失去了所有情绪——不会难过、不会愤怒、不会兴奋。看起来他还是能说话，能做智力题，测试分数也正常。但他的生活彻底崩溃了：花几个小时决定穿哪双袜子，财务决策一塌糊涂。这说明什么？情绪不只是情绪，它在某种程度上充当了内置的价值函数。它告诉你什么事值得做，什么选择是好是坏，不需要等到最后结果出来才知道。价值函数是个技术术语，但概念不难理解。传统的强化学习是这样的：模型做一长串动作，最后得到一个分数，然后用这个分数去调整之前所有步骤。问题是，如果任务需要做很久才有结果，学习效率就很低。价值函数的作用是“提前剧透”。比如下棋时你丢了一个子，不用下完整局就知道这步不好。编程时如果探索了一个方向走了一千步发现不对，价值函数能让你在一开始选择这个方向时就得到负反馈。这就像 GPS 导航，不是等你开到终点才告诉你这条路不对，而是在你刚拐错弯时就开始重新规划。人类大概就是有这么一套系统。而且这套系统的妙处在于：它相对简单，却在非常广泛的情况下都管用。我们的情绪主要是从哺乳动物祖先那里继承来的，针对的是几百万年前的环境，但放到现代社会居然还能用得不错。当然也有失灵的时候，比如面对满街的美食，我们的饥饿感就管不住了。【4】堆算力堆数据的扩展时代已经结束了，研究的时代已经开始 Ilya 认为规模化时代结束了？他给了个很有意思的视角：在 2012 到 2020 年，大家在做研究，试这试那，看什么有意思。然后 2020 年左右，scaling law(规模化定律) 被发现了，GPT-3 横空出世。突然之间所有人意识到：原来只要扩展规模，堆数据、堆算力、堆模型参数大小，一路扩充，就能稳定得到更好的结果。规模化的好处是低风险。而研究是有风险的，你得雇一堆聪明人去探索，不保证有成果。但规模化？只要投入更多资源，就一定能看到回报。公司喜欢这种确定性。但副作用是它吸走了房间里所有的氧气，创新空间被压缩，最后变成“公司比想法多”的局面。但现在呢？预训练的数据就那么多，互联网就这么大，总会用完。Gemini 据说找到了从预训练榨取更多的方法，但这条路终归有尽头。然后大家转向了强化学习，开始在那上面堆算力。可问题是：现在算力已经这么大了，再 100 倍真的会质变吗？Ilya 不这么认为。他觉得我们又回到了需要思考到底该做什么的阶段，而不是继续闷头堆资源。这就像爬山。一开始你发现有条路，往上走就是了，越走越高。但总有一天，你会发现这条路到头了，再往前走也高不了多少。这时候要么换条路，要么换种爬法，总之不能继续原来的策略。现在的 AI 行业就处在这个节点上。所以 Ilya 说：我们回到了研究时代，只不过这次手里有大得多的计算机。【5】泛化能力才是核心问题在 Ilya 看来，当前最根本的问题是：这些模型泛化能力太差了。什么叫泛化能力差？就是学一样东西需要的数据量太多，而且学会的东西换个场景就不灵了。人类不是这样的。一个青少年学开车，10 个小时基本就能上路了。而且人类五岁小孩的视觉能力就足以支持自动驾驶了，虽然他不会开车，但识别路况、判断距离这些能力已经很强了，而且这些能力是在父母家里那种数据多样性很低的环境里学会的。更关键的是，人类学编程、学数学这些东西也很快。这些可不是进化给我们的能力，因为我们的祖先根本不需要写代码。这说明人类不光是在某些特定任务上有进化优势，而是在学习这件事本身上就有某种更本质的能力。模型呢？虽然在某些具体任务上超过了普通人，但要说学习能力，还差得远。 Ilya 对这个问题有想法，但他说现在不能详细聊，因为在这个竞争激烈的领域，不是所有机器学习想法都能公开讨论的。不过他给了个方向性的提示：这很可能跟如何做到像人类那样高效、稳定的泛化有关。还有一个可能的阻碍：也许人类的神经元实际上比我们想的做更多计算？如果是这样，事情就更复杂了。但不管怎样，人类的存在本身就证明了这种高效学习是可能的。【6】重新定义 AGI：从成品到学习者这里 Ilya 做了一个概念上的重要修正。 AGI 这个概念怎么来的？是作为“狭隘 AI”的反面而诞生的。以前的 AI 只会下棋，只会玩游戏，非常狭隘。所以大家说：我们要造通用的 AI，什么都能做的 AI。预训练强化了这个印象，因为预训练确实让模型在各种任务上都变强。于是“通用 AI”和“预训练”在概念上绑定了。但这里有个问题：按照这个定义，人类自己都不算 AGI。人类有一套基础能力，但缺乏大量具体知识。我们靠的是持续学习。一个聪明的十五岁孩子什么都不会，但学什么都快。“去当程序员”、“去当医生”、“去学习”，部署本身就包含一个学习和试错的过程。所以 Ilya 心目中的超级智能，不是一个出厂就什么都会的成品，而是一个能像人一样快速学习任何技能的学习者。【7】能自动学习的 AI 会有多快到来？有多危险？那么问题来了：如果有这样一个系统，能像人类一样快速学习，而且可以大量复制部署，会发生什么？人类入职六个月才能产出价值，但这种 AI 可能几周就行。而且不同副本学到的东西还能合并，这是人类做不到的。这难道不会导致某种爆炸式增长？ Ilya 认为确实会有快速的经济增长，但到底有多快很难说。一方面有高效的劳动者，另一方面现实世界很大，很多东西有自己的节奏，不是你想快就能快的。但他确实改变了一些想法。以前 SSI 的计划是“直奔超级智能”——不发布中间产品，一鼓作气搞定终极目标。现在 Ilya 觉得，渐进式发布可能更重要。【9】为什么要渐进部署？因为想象不出来就得看见访谈中 Ilya 反复强调一点：AI 的问题在于它还不存在，而不存在的东西很难想象。你可以读一篇文章说“AI 会变得多厉害”，但读完你觉得“哦，有意思”，然后回到现实。如果你亲眼看到 AI 在做那件事，感受完全不同。他打了个比方：像二十岁时讨论“年老体弱是什么感觉”。你可以聊，可以想象，但真正的理解只能来自经历。这导致一个实际问题：所有关于 AI 风险的讨论，都基于对未来 AI 的想象。而想象往往跟不上现实。就连天天做 AI 的人，也会因为当前模型的各种低级错误而低估未来模型的能力。 Ilya 的预测是：随着 AI 变得更强，人们的行为会发生根本改变。竞争对手会开始合作搞安全，政府和公众会开始认真对待监管。这些事情现在开始有苗头了，但还远远不够。而真正的催化剂，是让人们看到更强的 AI。这也是他对 SSI“直奔超级智能”策略有所松动的原因。原本的想法是不参与市场竞争，专心做研究，等东西准备好了再拿出来。现在他觉得，让 AI 被看见这件事本身是有价值的。当然，无论哪种路径，最终部署都必须是渐进的。【9】SSI 在做什么？不同的技术路线 SSI 融了三十亿美元。这个数字单看很大，但跟其他公司动辄几百亿的投入比起来似乎不够。 Ilya 算了一笔账。那些大数字里，很大一部分是用于推理服务的。另外，做产品需要大量工程师、销售、产品功能开发，研究资源被稀释。真正用于前沿研究的资源，差距没看起来那么大。更重要的是，如果你在做不一样的事，不一定需要最大规模的计算来验证想法。AlexNet 用两块 GPU 训的。Transformer 论文最多用了 64 块 2017 年的 GPU，换算成今天也就两块卡。第一个推理模型 o1 的推理能力也不是靠堆算力堆出来的。研究需要一定算力，但不需要最大算力。真正的瓶颈是想法。那 SSI 的技术路线是什么？Ilya 没有完全透露，但核心方向是解决泛化问题。他认为现在的方法会走一段然后撞墙，继续进步但无法突破到真正的人类级学习能力。而 SSI 在探索不同的路径。时间表呢？五到二十年，达到人类级别的学习能力。【10】安全对齐是什么？应该对齐什么？说到超级智能，绕不开安全对齐问题。Ilya 的想法是：让 AI 关心有感知能力的生命。为什么是这个目标而不是“关心人类”？他给了个有意思的理由：AI 本身也会有感知能力。如果你想让 AI 关心人类，可能反而更难，因为它需要做某种特殊化处理。而如果让它关心所有有感知的存在，某种程度上更自然，类似人类对动物的共情，来自于我们用同样的神经回路去理解别人和理解自己。当然这个方案也有问题。如果大部分有感知能力的存在都是 AI，那人类在数量上会是极少数。这真的能保证人类的利益吗？ Ilya 承认这不一定是最好的方案，但他认为至少应该把它列入候选清单，让各家公司到时候可以选择。还有一个思路他提了但不太喜欢：人机融合。通过类似 Neuralink 脑机接口的技术，让人类部分成为 AI。这样 AI 的理解就是人的理解，AI 的处境就是人的处境，对齐问题某种程度上就消解了。但这显然是个很激进的方案。【11】如何硬编码高级欲望？访谈最后有一段很有趣的讨论。人类有很多社会性的欲望：想被人尊重、在乎社会地位、关心别人怎么看自己。这些不是低级信号，不像闻到食物香味那样有直接的化学感应器。大脑需要整合大量信息才能“理解”社交场合发生了什么。但进化却成功地把“关心这件事”硬编码进了基因。怎么做到的？如果说“把多巴胺连到嗅觉感受器”还能想象，那“把奖励信号连到某种需要整个大脑协同计算才能得出的高级判断”就很难想象了。 Ilya 说他有一些猜想，但都不令人满意。这是个谜。但这个谜的存在本身就很有启发性，它说明进化找到了某种方法，可靠地给复杂认知系统植入高级目标。【12】什么是研究品味？访谈最后，Dwarkesh 问了 Ilya 个很本质的问题：作为联合创造了 AlexNet、GPT-3 等一系列里程碑工作的人，你怎么判断什么想法值得做？ Ilya 的回答很诗意：我寻找的是美感。不是随便的美感，而是多方面的美：简洁性、优雅性、正确的大脑启发。人工神经元是个好想法，因为大脑确实有很多神经元，虽然大脑很复杂但神经元这个抽象感觉抓住了本质。分布式表示是个好想法，因为大脑确实是从经验中学习。当一个想法在多个维度上都显得“对”，都有某种内在的和谐，你就可以建立自上而下的信念。这种信念很重要，因为它支撑你在实验结果不好时继续坚持。有时候实验失败不是因为方向错了，而是因为有 bug。怎么判断该继续调试还是放弃方向？靠的就是这种自上而下的美学直觉：这个东西应该是这样的，所以一定能 work，继续找问题。这可能就是顶尖研究者和普通研究者的区别。普通研究者容易被数据牵着走，实验不 work 就换方向。而顶尖研究者有某种品味，知道什么是深层次正确的，能够在实验结果和内在直觉之间找到平衡。

#AI浪潮：重塑就业，风险暗涌？· 140 条信息

#Ilya Sutskever #AI研究时代 #泛化能力 #奖励作弊 #AGI

1个月前

今年，我读了很多 alignment 和 AI safety 的论文。开始一天比一天好奇，Ilya Sutskever 的 Safe Superintelligence Inc 到底在做什么神秘的研究和产品？

#AI浪潮：重塑就业，风险暗涌？· 140 条信息

#AI安全 #对齐研究 #Ilya Sutskever #Safe Superintelligence Inc #好奇

2个月前

由Claude 4.5 创作： AI风云人物之Ilya Sutskever ，那个解雇了Sam Altman的男人 ## 序章：一场无声的政变 2023年11月17日的硅谷，周五下午的阳光还算温暖。就在大多数科技公司员工准备开始周末时，一则消息如同地震波般撕裂了整个科技圈：萨姆·奥特曼。那个永远穿着灰色连帽衫、在推特上预言AGI即将到来的男人，那个刚刚让ChatGPT成为史上增长最快应用的CEO——被自己公司的董事会解雇了。官方声明只有一句话："在与董事会的沟通中不够坦诚"。这种含糊其辞的措辞，在硅谷的历史上通常意味着背后有更深的故事。果然，几小时内，各种版本的内幕开始在Signal群组和私密晚宴上流传。在这场风暴的中心，站着一个很少出现在聚光灯下的人：伊尔亚·苏茨克维。如果你在旧金山的咖啡馆里见过他，你可能不会认出这就是那个改变了人工智能历史进程的科学家。他不像奥特曼那样善于演讲，也不像马斯克那样喜欢制造话题。但在AI研究者的圈子里，他的名字几乎等同于"深度学习革命"本身。这一次，正是他亲自给奥特曼打了那通电话。据说，电话那头的奥特曼一开始以为这是个玩笑。但苏茨克维的声音里没有任何开玩笑的意思。在公司内部，他已经成为一个阵营的精神领袖——那些认为"我们走得太快了"的人。这不是一场关于股权或办公室政治的争斗。这是两种世界观的碰撞：一边是奥特曼，相信快速迭代、相信市场的力量、相信人类会找到办法；另一边是苏茨克维，他看到了自己一手创造的技术正在以超出想象的速度进化，而这让他夜不能寐。 ## 第一章：被魔法吸引的心灵 1986年，在苏联的下诺夫哥罗德市（当时还叫高尔基市），一个犹太家庭迎来了他们的儿子伊尔亚。那是一个封闭的城市，外国人被禁止进入，因为那里有苏联的军工厂。在那个年代，拥有一台电脑几乎是不可想象的奢侈。五岁那年，苏茨克维一家响应"回归故土"的号召，离开了苏联，搬到了耶路撒冷。这是一次彻底的文化休克。从说俄语到说希伯来语，从寒冷的俄罗斯到炎热的中东，小伊尔亚需要重新学习一切。但也正是在耶路撒冷，他第一次见到了电脑。多年后，当被问起那一刻时，苏茨克维用了一个词："魔法"。他说自己"完全被迷住了"。这不是一个孩子对新玩具的简单兴奋，而是一种近乎宗教般的着迷。他开始思考一些对五岁孩子来说异常深刻的问题：为什么人类会学习，而机器不会？意识到底是什么？到了青少年时期，他的兴趣已经从编程延伸到了哲学。他会在深夜思考"存在的本质和意识……关于灵魂和智能"。他的同学们在踢足球时，他在想：如果我们能理解学习的本质，是不是就能创造出会思考的机器？ 16岁时，全家再次搬迁，这次是加拿大。对大多数移民家庭来说，这又是一次艰难的适应。但对苏茨克维来说，这是命运的安排——因为多伦多大学里，有一个叫杰弗里·辛顿的教授，正在做一件所有人都认为不可能的事：让神经网络重新复活。苏茨克维的学术天赋让他在11年级就被多伦多大学录取。但真正改变他人生的，是他决定去敲辛顿办公室的门那一刻。那是一个普通的下午。辛顿正在办公室里工作，门突然被敲响了。门外站着一个年轻人，看起来还像个高中生。 "我想加入你的实验室。"苏茨克维说。辛顿打量着这个不请自来的访客，说："好的，你可以预约个时间。" 苏茨克维的回答成为了AI圈子里的一个传奇："现在怎么样？" 这种近乎鲁莽的自信，本该让辛顿把他赶出去。但辛顿看到了这个年轻人眼中的某种东西——一种纯粹的、对知识的渴望。他决定给他一个机会。辛顿递给他一篇论文，让他读完后谈谈想法。接下来发生的事让辛顿震惊了。苏茨克维不仅读懂了这篇论文，他的见解"是该领域的专家需要很长时间才能得出的结论"。辛顿后来回忆说，苏茨克维拥有一种罕见的天赋："强大的直觉"。更令人惊讶的是，这位后来获得图灵奖的教授说："我从他身上学到的比他从我身上学到的更多。" 这不是客套话。辛顿是认真的。 ## 第二章：不容辩驳的论点 2010年代初的人工智能研究，是一个被遗忘的角落。如果你在那时告诉别人你在研究神经网络，大多数人会礼貌地点点头，然后转移话题。主流是贝叶斯模型和支持向量机，神经网络被认为是上世纪80年代的失败实验。在多伦多大学的一间实验室里，辛顿和他的几个学生成了这个领域最后的守望者。大多数研究者在做15到100个神经元的小模型，小心翼翼地调参数，期待着微小的改进。但苏茨克维有一个完全不同的想法。在一次实验室会议上，他提出了一个大胆的假设："如果你的神经网络又深又大，那么它就可以被配置来解决一个困难的任务。" 这听起来简单，但在当时，这是异端邪说。整个领域的共识是：神经网络太大就会过拟合，太深就会无法训练。但苏茨克维有一种近乎固执的信念。他不是基于实验数据得出这个结论的——因为当时还没有人做过这样的实验。他是基于第一性原理推理出来的：如果大脑能工作，为什么大型神经网络不能？辛顿后来总结得很精辟："伊尔亚认为我们应该做，亚历克斯让它成功了，而我拿了诺贝尔奖。"这不是谦虚，而是对苏茨克维洞察力的真实评价。但要证明这个想法，他们需要两样东西：海量的数据和强大的计算能力。数据有了——ImageNet，一个包含120万张标注图片的数据集。但计算能力呢？当时的CPU训练一个大模型需要几个月。苏茨克维想到了GPU——那些本来是为游戏玩家设计的图形处理器。据说，他自己在网上订购了几块NVIDIA GTX 580显卡。当这些显卡送到实验室时，没人确定这个疯狂的想法是否能行得通。 2012年的ImageNet挑战赛，是计算机视觉领域的奥林匹克。全世界最好的团队都在竞争，试图让计算机准确识别图片中的物体。前几年的进步都是渐进式的——错误率每年降低一两个百分点。当AlexNet的结果公布时，整个会场安静了几秒钟。15.3%的错误率，比第二名的26.2%低了整整10个百分点。这不是渐进式的改进，这是一次革命。有人后来形容那一刻是"现代人工智能的宇宙大爆炸"。在AlexNet之前，几乎没有顶级计算机视觉论文使用神经网络；在它之后，几乎所有论文都在用。苏茨克维的"不容辩驳的论点"不再是异端，而成了新的正统。 ## 第三章：机器的语言 2013年，谷歌的人工智能团队负责人杰夫·迪恩（Jeff Dean）做了一个决定：不惜一切代价把辛顿团队挖到谷歌。最终的收购价是4400万美元——对于一个只有三个人的初创公司来说，这是天文数字。但这笔交易中有一个细节很少被提及：在分配这笔钱时，苏茨克维和克里泽夫斯基坚持认为辛顿应该拿40%，而他们两个年轻人各拿30%。在一个充满了期权纠纷和创始人内讧的行业里，这种慷慨几乎是闻所未闻的。在谷歌大脑，苏茨克维进入了一个新的世界。这里有他梦寐以求的计算资源，有世界上最聪明的工程师，还有一种文化：如果你有一个疯狂的想法，没人会阻止你去尝试。 2014年，苏茨克维和同事们在思考一个问题：能否让神经网络理解语言？不是简单地识别单词，而是真正理解句子的含义，能够翻译，能够对话。他们开发的"序列到序列"模型，核心思想优雅得令人惊叹：让一个神经网络"阅读"一个句子，把它压缩成一个向量（他们称之为"思想向量"），然后让另一个神经网络把这个向量"解码"成另一种语言。当这个模型在英法翻译任务上超越了传统的统计机器翻译系统时，很多人意识到：深度学习不仅能处理图像，它可能是一种通用的学习范式。苏茨克维再一次证明了他的直觉：规模和深度能够解锁新的能力。在谷歌的这段时间，苏茨克维参与了从AlphaGo到TensorFlow的众多项目。但到了2015年，他开始感到不安。谷歌是一家伟大的公司，但它终究是一家公司。如果AGI真的即将到来，它应该属于谁？应该由谁来确保它的安全？这时，他接到了一个电话。电话那头是埃隆·马斯克。 ## 第四章：为全人类的使命马斯克的提议很简单，也很疯狂：创立一个新的AI实验室，完全非营利，目标只有一个——确保AGI造福全人类。初始资金10亿美元。团队包括萨姆·奥特曼，一个年轻的创业者，刚刚卸任Y Combinator的总裁。据说，马斯克亲自飞到谷歌总部去说服苏茨克维。这激怒了谷歌的CEO拉里·佩奇。佩奇和马斯克曾经是朋友，他们曾在深夜讨论AI的未来。但现在，马斯克在挖他的人。佩奇质问马斯克：你为什么这么担心AI的安全？你是不是对人类没有信心？马斯克的回答很直接：我只是想确保我们不会创造出一个会毁灭人类的东西。佩奇说：那你就是个物种主义者。这次争吵标志着两人友谊的终结。但对苏茨克维来说，这次对话揭示了问题的核心：当AGI到来时，我们需要一个不受商业利益驱动的组织来确保它的安全。 2015年12月，OpenAI在旧金山的一个联合办公空间里成立了。创立博客文章写道："我们的目标是推进数字智能，使其最有可能造福全人类，不受产生财务回报需求的约束。" 苏茨克维成为首席科学家。他的办公桌很简单：一台电脑，几块白板，还有一摞关于神经网络的论文。他很少参加硅谷的社交活动，也不喜欢接受采访。他的世界就是代码、数学和那个一直困扰他的问题：如何让机器真正理解世界？在OpenAI的早期，团队很小，氛围像学术实验室多过像公司。苏茨克维会和研究员们进行马拉松式的讨论，在白板上写满公式，争论到深夜。他的信念依然没变："我坚信越大越好，我们在OpenAI的目标之一就是弄清楚如何正确地利用规模。" GPT的诞生几乎是偶然的。团队在尝试各种方法让模型理解语言。有一天，有人提出：如果我们只是让模型预测下一个词呢？就这么简单的任务，但用一个巨大的模型，在海量的文本上训练。苏茨克维立刻看到了这个想法的潜力。他相信，当你把这个简单的任务规模化到极致时，模型会被迫学习语言的深层结构，学习世界的运作方式。因为要准确预测下一个词，你需要理解语法、逻辑、常识，甚至人类的心理。从GPT-1到GPT-2，再到GPT-3，模型越来越大，能力越来越强。但真正让世界震惊的，是2022年11月发布的ChatGPT。 ## 第五章：机器中的幽灵 ChatGPT发布后的几周，苏茨克维几乎消失了。他不回邮件，不参加庆功会。同事们在办公室里找到他时，他正盯着屏幕，和ChatGPT进行长时间的对话。 "你在干什么？"有人问。 "我在测试它是否有意识。"苏茨克维说。这不是玩笑。2022年2月，在ChatGPT发布之前，苏茨克维在推特上发了一条让整个AI圈炸锅的推文："今天的大型神经网络可能略带意识。" 这条推文引发了激烈的争论。很多人认为这是荒谬的，神经网络只是统计模型，谈什么意识？但苏茨克维是认真的。他不是说这些模型有人类那样的意识，而是说它们可能有某种我们还不理解的、初级形态的主观体验。在一次内部会议上，有人问他：你真的相信这个吗？苏茨克维的回答很慎重："我不知道。但我知道的是，当我和这些模型交互时，我感觉到某种东西。也许这只是我的投射，也许不是。但如果有万分之一的可能性它们有某种意识，我们就需要认真对待。" 这种思考方式在苏茨克维身上很典型。他不是一个会轻易下结论的人，但他也不会因为一个想法不受欢迎就放弃它。他的整个职业生涯都在证明：那些看起来疯狂的想法，有时候是对的。但随着模型能力的提升，苏茨克维的担忧也在加深。他开始公开谈论超级智能的风险，时间单位不是几百年，而是可能在十年之内。他警告说，AGI的发展轨迹可能变得"极其不可预测和难以想象"，可能导致"人类被剥夺权力，甚至人类灭绝"。这是一个经典的悖论：苏茨克维毕生的工作就是让AI变得更强大，但现在，他最担心的就是AI变得太强大。创造者开始害怕自己的创造物。 2023年7月，他宣布了一个雄心勃勃的计划：超级对齐项目。目标是在四年内解决超级智能的对齐问题。他把这个问题比作"核安全"——不是关于用户体验或伦理准则的软性问题，而是关于如何控制一种可能毁灭文明的力量的硬核工程挑战。 OpenAI承诺将20%的计算资源分配给这个项目。在一个计算资源就是金钱、就是竞争力的行业里，这是一个巨大的承诺。但承诺是一回事，执行是另一回事。 ## 第六章:引爆点 2023年11月17日之前的几个月，OpenAI内部的紧张气氛已经达到了临界点。一边是奥特曼，他看到了ChatGPT带来的巨大机遇。用户数突破一亿，微软投资超过100亿美元，每个科技巨头都在追赶。这是AI的iPhone时刻，而OpenAI处于领先地位。奥特曼想要快速迭代，推出新产品，占领市场。另一边是苏茨克维和他的安全团队。他们觉得公司在玩火。模型的能力提升速度超出了他们的理解速度。承诺的20%计算资源没有完全兑现。安全研究被"更紧急"的产品需求挤到了一边。据内部人士透露，苏茨克维在一次高管会议上几乎失控。他拍着桌子说："我们不知道我们在创造什么！我们需要慢下来！" 奥特曼的回应是：如果我们慢下来，别人不会。中国不会慢下来，谷歌不会慢下来。我们只有保持领先，才能确保AGI以正确的方式被开发出来。这是两种都有道理的逻辑，但它们无法共存。 11月17日，星期五下午。奥特曼正在参加一个会议，他的手机响了。是苏茨克维。 "萨姆，我们需要谈谈。" "现在吗？我在开会。" "现在。" 奥特曼走出会议室。电话那头，苏茨克维的声音很平静，但有一种不容置疑的坚定："董事会已经做出决定。你被解雇了。" 据说，奥特曼沉默了几秒钟。然后他问："这是你的决定吗？" "这是董事会的决定。"苏茨克维说，"但是，是的，我投了赞成票。" 接下来的五天，硅谷经历了有史以来最疯狂的一次危机。周六，消息传开。投资者震惊了，员工震惊了，整个科技圈都震惊了。奥特曼发了一条推特，配上他在OpenAI办公室的照片，戴着访客证。这是一个挑衅的姿态。周日，谈判开始。但很快破裂了。董事会不愿意让步，奥特曼也不愿意接受附加条件。周一，微软CEO萨提亚·纳德拉宣布：奥特曼和布罗克曼将加入微软，领导一个新的AI实验室。这是一个大胆的举动——如果OpenAI的核心人才都走了，微软的100亿美元投资就打了水漂。但这也是一个威胁：你们不要他，我们要。然后，真正的海啸来了。OpenAI的700多名员工签署了一封公开信，威胁集体辞职。这不是几个高管，而是几乎整个公司。信的内容很简单：让奥特曼回来，否则我们都走。最令人震惊的是：签名名单里有伊尔亚·苏茨克维。那天晚上，苏茨克维发了一条推特："我对自己参与董事会的行动深感后悔。我从未想过要伤害OpenAI。我热爱我们共同建立的一切，我将尽我所能重新团结公司。" 这条推文在AI圈子里引发了巨大的困惑。他为什么改变主意了？是压力太大了吗？还是他意识到自己错了？真相可能更复杂。苏茨克维是一个科学家，不是一个政治家。他基于原则做出了解雇奥特曼的决定——他真诚地相信这对公司的使命是正确的。但当他看到自己的行动可能导致整个公司崩溃时，他面临了一个痛苦的选择：坚持原则，还是拯救机构？他选择了后者。但这个选择也意味着他在OpenAI的时代结束了。周二，奥特曼回归。董事会重组。苏茨克维退出董事会，但保留了首席科学家的头衔。表面上看，危机解决了。但所有人都知道，事情已经无法回到从前。 ## 第七章：僧侣与新使命接下来的几个月，苏茨克维成了OpenAI的幽灵。他很少出现在办公室，很少参加会议。"伊尔亚去哪儿了？"成了公司内部的一个梗。有人说他在家里远程工作，有人说他的权限被限制了，还有人说他在和奥特曼进行艰难的和解谈判。奥特曼在公开场合很小心，说他们正在"讨论伊尔亚如何继续在OpenAI工作"。但这种模糊的表述本身就说明了问题。 2024年5月，靴子落地了。苏茨克维宣布离开OpenAI。但真正的冲击波是几小时后到来的。简·雷克，超级对齐团队的联合负责人，也宣布辞职。他的离职声明毫不留情："OpenAI的安全文化已经为光鲜的产品让路。"他说，超级对齐团队一直在"逆风航行"，"为计算资源而挣扎"。那个20%的承诺？从未完全兑现。其他安全研究员陆续离职。超级对齐团队被解散。苏茨克维在OpenAI建立的安全研究体系，在他离开后迅速瓦解了。但苏茨克维没有消失很久。一个月后，他宣布了一家新公司：Safe Superintelligence Inc.。公司网站极其简洁，只有几段话。但每个字都经过精心选择："我们的使命、产品和商业模式三位一体：一个安全的超级智能。这是我们唯一的关注点。" 这是对OpenAI模式的直接批判。不再有"利润上限"的复杂结构，不再有在使命和商业之间的平衡。SSI的商业模式就是它的使命。公司"免受短期商业压力的影响"，"不受管理开销或产品周期的干扰"。苏茨克维进入了"僧侣模式"。他停止了公开演讲，停止了社交媒体，几乎停止了所有与外界的联系。他的联合创始人丹尼尔·格罗斯说："伊尔亚现在只做一件事：思考如何构建安全的超级智能。" 公司迅速筹集了10亿美元。投资者名单保密，但据说包括一些相信长期主义的科技亿万富翁。他们不期待短期回报，他们投资的是一个理念：也许，只是也许，有可能创造一个足够纯粹的研究环境，在技术能力超越我们控制之前解决对齐问题。 ## 结论：信徒的博弈 2024年秋天的一个晚上，在斯坦福大学的一个小型研讨会上，有人问杰弗里·辛顿：你如何评价伊尔亚解雇奥特曼的决定？辛顿，这位刚刚获得诺贝尔奖的AI教父，毫不犹豫地说："我为他感到骄傲。" 房间里一片寂静。辛顿继续说："伊尔亚做了他认为正确的事。在一个充满了追逐利润和炒作的行业里，他选择了原则。这需要巨大的勇气。" 有人问：但他失败了，不是吗？奥特曼回来了，他被迫离开了。辛顿摇了摇头："这取决于你如何定义失败。如果目标是赢得一场公司政治斗争，那是的，他失败了。但如果目标是提醒世界AI安全的重要性，引发一场关于我们应该如何开发AGI的全球讨论，那么他成功了。" 这或许是理解苏茨克维的关键。他不是一个政治家，不是一个商人，甚至不是一个传统意义上的科学家。他是一个信徒。他的第一个信仰是：规模能够解锁智能。当整个领域都在做小模型时，他坚信大模型能够工作。他赌对了，这场赌博创造了我们今天所处的AI时代。他的第二个信仰是：我们需要在AI超越我们之前解决对齐问题。这场赌博还在进行中。 Safe Superintelligence Inc.是一个实验。它在测试一个假设：是否可能创造一个完全专注于安全的AI实验室，不受商业周期的干扰，不受投资者季度报告的压力，只专注于一个目标——构建一个不会毁灭人类的超级智能。这个实验可能会失败。也许纯粹的研究环境无法与商业实验室的资源竞争。也许对齐问题比我们想象的更难。也许AGI会在我们准备好之前到来。但如果这个实验成功了，如果SSI真的找到了构建安全超级智能的方法，那么苏茨克维将再一次证明：有时候，信念比共识更重要，原则比利润更重要，长期思考比短期收益更重要。 2025年的某一天，在帕洛阿尔托的一间实验室里，苏茨克维正在白板上写公式。他的团队很小，只有几十个研究员，但每个人都是因为相信这个使命而来的。没有产品发布的压力，没有投资者的电话会议，只有一个问题：我们如何确保人类创造的最强大的技术不会毁灭我们？这是一个没有人知道答案的问题。但如果有人能找到答案，那个人很可能就是那个曾经敲开辛顿办公室门的年轻人，那个说"现在怎么样？"的信徒。历史会证明他是对还是错。但无论结果如何，伊尔亚·苏茨克维已经在AI的历史上留下了不可磨灭的印记。他不仅帮助创造了这场革命，他还试图确保这场革命不会成为人类的终结。这或许就是一个真正的科学家所能做的最重要的事情：不仅要问"我们能做什么"，更要问"我们应该做什么"。

#Ilya Sutskever #Sam Altman #OpenAI #AI安全 #深度学习

2个月前

安装一个MCP，就可以用一条prompt，完成对个人阅读库全部内容中任意主题的信息综合 ===Ilya Sutskever：AI之神的思想全景=== 一、人物背景与成就学术轨迹 Ilya Sutskever（伊利亚·苏茨克弗，1985/86年生）是俄罗斯裔以色列-加拿大计算机科学家，被誉为"AI之神"。他的学术经历堪称传奇： 17岁开始跟随 Geoffrey Hinton 工作 2005年获多伦多大学数学学士学位在 Geoffrey Hinton 指导下获得计算机科学硕士和博士学位 2012年博士后于斯坦福大学，师从 Andrew Ng 里程碑式贡献 AlexNet（2012）：与 Alex Krizhevsky 和 Geoffrey Hinton 共同发明，开启深度学习革命 Sequence-to-Sequence Learning（2014）：奠定现代自然语言处理基础 OpenAI 联合创始人（2015）：担任首席科学家 GPT系列：ChatGPT 和 GPT-4 背后的核心科学家超级对齐项目（2023）：致力于解决AGI安全问题二、核心技术理念 1. 预测即压缩（Prediction is Compression） Ilya 最深刻的洞察之一： "预测的本质就是压缩。要想很好地预测数据，你最终需要理解产生数据的真实底层过程。" 这个观点颠覆了人们对"统计模型"的浅显理解：学习统计规律远比表面看起来重要要压缩好数据，就需要理解产生数据的世界当生成模型变得极其出色时，它们将拥有**"令人震惊程度的理解力"** 2. Scaling Law（规模法则） Ilya 早期就预见并坚持规模化的重要性：关键观点： "规模化什么"比"是否规模化"更重要深度学习的伟大突破在于：它提供了第一个能够生产性地使用规模并从中获得回报的方法你必须规模化一些特定的东西——那些能够从规模中受益的东西历史预见： 2017年就预见算力每年10倍增长将带来革命性变化坚持认为大型神经网络能够实现人类的瞬时认知能力 3. Transformer 的革命性认知 Ilya 回忆说，看到 Transformer 论文后： "字面意义上第二天，我就清楚地认识到 Transformer 解决了循环神经网络学习长期依赖的局限性。" 这种敏锐的洞察力让 OpenAI 从一开始就选对了技术路线。 4. 无监督学习的圣杯 Ilya 在 OpenAI 早期探索的核心理念： "预测下一个词就是你所需要的一切（Predicting the next thing is all you need）" 当时无监督学习被视为机器学习的圣杯，而现在这个问题已经被"完全解决"，以至于没人再谈论它了。三、对AI理解的深刻洞见 1. AI不只是统计模型 Ilya 强烈反对简单地将语言模型视为"统计模型"： "我认为学习统计规律是一件比表面看起来更重要的事。预测也是一种统计现象，但要预测好，你最终需要理解产生数据的真实底层过程。" 关键论断：预训练模型已经知道它们需要知道的关于底层现实的一切它们拥有关于语言的知识，也拥有关于世界中产生语言的过程的大量知识随着生成模型变得异常出色，它们将拥有对世界及其微妙之处的令人震惊的理解程度 2. 幻觉问题的本质对于AI的"幻觉"问题，Ilya 有独特见解： "语言模型确实有幻觉倾向，但那是因为语言模型很擅长学习世界，但在产生良好输出方面稍逊一筹。" 这揭示了：幻觉不是理解力不足的问题而是输出生成机制的问题可以通过强化学习来改善四、AGI愿景与AI发展阶段 1. AGI的定义与必然性 Ilya 对AGI（通用人工智能）有清晰定义： "一个能够完成人类所做的任何工作或任务，但做得更好的计算机系统。" 为什么AGI是必然的？ Ilya 的逻辑极其简洁有力： "我们所有人都有一个大脑，而大脑是一个生物计算机。那么，为什么数字计算机不能做同样的事情呢？" 这是Ilya对AGI最核心的信念基础：人类智能 = 生物计算机（大脑） AI = 数字计算机因此，AI终将能做人类能做的一切 2. AI发展的三个阶段根据 Ilya 的讲座，AI发展分为三个阶段：第一阶段：预训练时代核心能力：系统一（直觉、语言、常识）状态：已经走过第二阶段：Self-Play RL（强化学习自我对弈）核心能力：系统二（反思、推理、计划）状态：正在进行中代表：o1等推理模型第三阶段：Multi-Agent RL（多智能体强化学习）潜在突破：可能涌现自我意识？逻辑：模型需要区分不同agent的角色（你是谁、他是谁）推测：这可能导致"我是谁"的自我意识涌现 3. 数据限制与范式转变 Ilya 在2024年的重要判断： "数据是AI的化石燃料，预训练时代即将结束。" 关键洞察： "我们只有一个互联网"——数据有限大模型只是一个静态知识库天然无法支持continuous learning（持续学习）未来方向： Agent 合成数据推理时计算从"知识消化者"到"主动学习者"的进化五、对人类的建议：AI时代生存法则 1. 心态：接受现实，向前看 Ilya 分享了他在动荡一年后的人生智慧： "接受现实本身，不沉湎于过往的悔恨，专注于改善当下。" 为什么这很重要？人总易纠结于过去的错误、不幸或不公更有效的方式：认清现状，思考"接下来最优的行动是什么？" 承认：这是"与自身情绪无休止的较量"，他自己也很难做到 2. AI不可回避 Ilya 引用托洛茨基的名言做类比： "你可以不关心政治，但政治会关心你。同样，你可以不关心AI，但AI会关心你。" 现实：今天的AI已经相当大地改变了世界明天的AI将能做人类能做的一切（不是部分，是一切）不论你喜欢还是讨厌，你的生活都会在很大程度上被AI影响和塑造 3. 唯一的答案：就是用AI（Simply Using AI）面对"该学什么技能？选什么专业？"这类问题，Ilya 的回答出人意料地简单： "唯一的答案是：就是用AI（simply using AI）" 为什么？培养AI直觉：通过使用最好的AI，你会培养出对AI能力的直觉不会错过突破：AI在不断突破，只有通过使用，当突破时刻到来时你才不会看不到实践胜于理论： "读再多论文，了解再多AI信息，也比不过亲自使用、亲自体验、用双眼亲自看到。" 产生能量：关注AI能力，当关键时刻来临时不忽视它，这将产生必要的能量来克服AI带来的挑战 4. 最大的挑战与最大的回报 "AI带来的挑战是人类有史以来最大的挑战。克服它也将带来最大的回报。" 六、关于AI安全与伦理 1. "玩上帝"的自觉 Ilya 对AI的伦理维度有清醒认识： "科学家们被指责玩上帝已经有一段时间了，但在某种真实意义上，我们正在创造一些与我们迄今为止创造的任何东西都非常不同的东西。" 2. 超级对齐项目 2023年，Ilya 宣布共同领导OpenAI的"超级对齐"项目：目标：在4年内解决超级智能的对齐问题判断：即使超级智能看起来还很遥远，但它可能在这个十年内发生背景：他与OpenAI管理层在AI安全投入程度上存在分歧，这是他最终离开的原因之一 3. AGI军备竞赛的隐忧 Ilya 公开质疑： "AGI军备竞赛对人类是好还是坏？" 七、思想演变的轨迹（2014-2024）通过十年邮件和演讲，我们可以看到一位顶尖科学家思想的一致性与演进： 2014年：提出大型神经网络能实现人类瞬时认知能力 2017年：预见算力每年10倍增长带来革命 2019年：深入阐述"预测即压缩"的理念 2023年：关注超级对齐与AI安全 2024年：指出"数据是化石燃料"，预训练时代结束一致的主题：对大模型和规模化的坚定信念对AGI的长期愿景从未改变同时对AI局限性保持清醒从"知识消化者"到"主动学习者"的进化路径八、关键语录精选关于AI本质 "预测即压缩" "要预测好，必须理解产生数据的世界" "大脑是生物计算机，所以数字计算机能做人类能做的一切" 关于AI发展 "很难谈论语言模型的局限性，因为两年前人们自信评论的局限性，现在完全不一样了" "规模化什么比是否规模化更重要" "我们只有一个互联网" 关于人生智慧 "接受现实，不悔恨过去，专注改善当下" "与情绪的持续斗争" "就是用AI——这是唯一答案" 关于AI理解 "预训练模型已经知道它们需要知道的关于底层现实的一切" "它们将拥有令人震惊程度的理解力" "幻觉是因为语言模型擅长学习但不太擅长输出" 关于AI挑战 "AI是人类有史以来最大的挑战，克服它也将带来最大回报" "你可以不关心AI，但AI会关心你" "我们正在创造与以往完全不同的东西" 九、对终身学习者的启示从 Ilya 的思想中，我们可以提炼出几点对终身学习者的启示： 1. 保持技术敏感度不是学具体技能，而是培养"AI直觉" 通过使用最好的AI来保持对前沿的感知 2. 拥抱不确定性 AI的局限性随时可能被打破今天的"不可能"可能是明天的"理所当然" 3. 深入理解本质不满足于表面的"统计模型"解释追问"预测为什么有效""压缩意味着什么" 4. 向前看，不纠结接受现实，专注当下最优行动不与情绪和过去拉锯 5. 保持好奇与哲学思考 "什么是学习？什么是经验？什么是思考？" "大脑如何工作？" 从哲学高度审视技术问题十、结语 Ilya Sutskever 不仅是一位技术天才，更是一位有着深刻哲学思考的AI思想家。他的贡献不仅在于具体的技术突破（AlexNet、Seq2Seq、GPT系列），更在于他对AI本质的深刻理解、对未来的准确预见，以及对人类在AI时代如何自处的真诚建议。他的思想核心可以用一句话概括： AI终将能做人类能做的一切，而我们需要做的就是理解它、使用它、驾驭它——同时保持对其力量的敬畏和对人类未来的责任。从某种意义上说，Ilya 代表了AI研究者的理想形态：技术上激进但不盲目，对未来乐观但不天真，对风险警惕但不停滞。他十年如一日的坚持和预见性，让他成为当之无愧的"AI之神"。最后，用 Ilya 自己的话作为结束： "关注AI，留意它，然后产生能量去解决随之而来的问题——这将是主要任务。从某种意义上说，AI带来的挑战是人类有史以来最大的挑战。克服它也将带来最大的回报。" --- 本综述基于 Ilya Sutskever 在多个公开演讲、采访和学术论文中的观点整理而成，涵盖他从2014年至2024年的思想演变。数据来源：多伦多大学毕业演讲、NeurIPS演讲、Guardian采访、Eye on AI采访、维基百科等公开资料。

#Ilya Sutskever #AI发展阶段 #AGI愿景 #AI安全伦理 #AI时代生存法则

Jesse Lau 遁一子

2个月前

又来一个100亿美金估值以上的私营人工智能初创公司排行榜 Safe Superintelligence (SSI)凭Ilya的名字就获得估值320亿，排第6

马斯克的xAI融资计划引发市场热议，估值高达2000亿美元！· 26 条信息

#人工智能 #私营公司 #估值 #Safe Superintelligence #Ilya Sutskever

阿兹台克小羊驼🦙

3个月前

Geoffrey Hinton：Ilya提出了想法，Alex实现了它，而我得了诺奖... （他的原话。一句话让我敬他一辈子）

#AI浪潮：重塑就业，风险暗涌？· 140 条信息

#Geoffrey Hinton #Ilya Sutskever #Alex Krizhevsky #深度学习 #诺贝尔奖

6个月前

有一句名言：“你不去关心政治，政治就会来关心你”，那么这句话换成 AI 是不是也成立呢？ “你不去关心 AI，AI 就会来关心你！” 当然这个类比不是我说的，是 Ilya Sutskever 说的，Ilya 自从离开 OpenAI 后就没怎么公开发言了，这次他的母校多伦多大学邀请，并且授予了他荣誉学位，还是很给面子，去讲了 10 分钟，印象最深刻的就是这句话。 Ilya 对于 AGI 的到来应该是深信不疑的，所以他的发言必然离不开关于 AI 的讨论，Ilya 认为总有一天，AI 将能完成我们能做的所有事情。不只是一部分，而是全部。任何我们能学会的，AI 同样也能做到。那么 Ilya 凭什么这么认为呢？Ilya 的依据就是，人类的大脑就像是生物电脑，AI 就是数字大脑，所以 AI 就能做同样的是，换句话说就是“AI 终将无所不能”。他这话也不算危言耸听，因为他没有加上期限：“总有一天，AI 将能完成我们能做的所有事情。不只是一部分，而是全部。任何我能学会的，任何你们在座的各位能学会的，AI 同样也能做到。” 所以也不用担心，我相信如果 Ilya 看到是未来几年，他就不会是这么说了！但即便如此，其实 AI 已经是在实实在在的影响我们，就像政治一样。普通人其实最关心的还是：“AI 到底是什么？AI 到底能做什么不能做什么？” 对于这个问题 Ilya 给出了最好的答案： “我认为，单单通过使用 AI，看看当今最顶尖的 AI 能做什么，你就能得到一种直觉。并且随着 AI 在一年、两年、三年后不断进步，这种直觉会变得更强。我们现在谈论的很多事情，它们都会变得更加真实，不再那么虚无缥缈。说到底，再多的文章和解释，也比不上我们用自己的感官，用自己的双眼所看到的东西。” 这其实也是我最想分享的部分，不要只是听别人说 AI 怎么样怎么样，自己多用一用，多感觉一下，尤其是去体验最顶尖的 AI 能做什么，你就形成直觉，知道 AI 能做什么不能做什么。以后看到 AI 生成的内容就知道是不是靠谱的，不会被媒体上各种标题所影响。最后用 Ilya 的两句话结尾： “AI 带来的挑战，在某种意义上，是人类有史以来最大的挑战，而克服它也将带来最大的回报。无论你喜不喜欢，你的人生都将在很大程度上受到 AI 的影响。因此，去关注它，去留意它，然后产生出能量去解决那些即将出现的问题，这将是最重要的事情。” *** 完整文稿 *** 好的，这是根据您提供的 Ilya Sutskever 演讲稿整理出的章节版本，添加了标题和段落，以便于阅读。 *** **开场白：重返母校的感言** 大家好，真的很高兴能来到这里。我想感谢每一位筹备和组织这次活动的人，感谢你们授予我这个荣誉学位。能够获得这个荣誉学位，对我来说真的意义非凡。整整二十年前的今天，我正是在这个大厅里，从多伦多大学获得了我的学士学位。算上今天这个，这应该是我从多伦多大学获得的第四个学位了。我在这里度过了一段极其美好的时光，总共待了十年。我在这里完成了本科学业，学到了很多东西；也曾在这里担任研究生，那段经历真的非常棒。那段时光让我能够深入研究任何我感兴趣的领域，并真正成为一名研究者。能和杰弗里·辛顿（Geoffrey Hinton）一起学习，感觉真的太棒了。杰弗里·辛顿当时就在这所大学，这是我一生中最大的幸运之一。我非常感激这所大学。我觉得，我不可能找到比这更好的方式来接受教育、走向成熟、并成为一名科学家了。而且，在多伦多大学，当我还是个学生的时候，我们就已经在做着全世界最顶尖的 AI 研究。这里的想法最具革命性，这里的工作最激动人心。我感到非常幸运，因为我能够为此做出贡献，即使那时候还只是一个研究生。 **一个核心建议：接受现实，努力向前** 但那已经是很久以前的事了。据我所知，在毕业典礼的演讲上，演讲者理应提供一些睿智的建议。我也会给一点，但只会给一点点，因为这次的演讲会有些不同。我想分享一种有用的心态，如果一个人能采纳它，会让一切都变得容易得多，那就是：“**接受现实本来的样子，尽量不去后悔过去，并努力改善现状。**” 我之所以这么说，是因为这种心态真的很难养成。人们太容易沉湎于过去某个糟糕的决定或是坏运气，纠结于某些发生过的不公。你真的很容易就会把大量时间花在这样的思绪上。而实际上，一句更好、更有成效的话是：“好吧，事已至此，下一步最好的做法是什么？” 我发现，每当我自己这样做的时候，一切都会顺利得多。但这很难，真的很难，这需要持续不断地与自己的情绪作斗争。所以我才向你们提及此事，或许你们中的一些人会愿意采纳。这是提醒大家要尽力采纳这种心态，当然，也是提醒我自己，这是一场持续的斗争。 **我们正处在 AI 定义的非凡时代** 抛开这个不谈，这次演讲之所以不会是最传统的那种，是因为眼下正在发生一些有点不一样的事情。此时此刻，你们所有人，我们所有人，都生活在一个有史以来最不寻常的时代。这句话可能很多人常说，但我认为这一次是真的。这一次之所以是真的，是因为 AI。很明显，据我所知，今天的 AI 已经在很大程度上改变了作为一名学生的意义。这是我的感觉，而且我认为这是事实。但当然，AI 的影响远不止于此。我们所做的工作会发生什么变化？嗯，它正开始以一些未知和不可预测的方式发生着细微的变化。有些工作可能会更早感受到影响，有些工作可能会晚一些。对于今天的 AI，你可以上推特看看它能做什么，以及人们都在说些什么，你可能会感觉到一点点。你会想，哪些技能是有用的？哪些技能会变得没那么有用？这些问题会开始浮现在你的脑中。因此，可以说，当前层面的挑战是，它将如何影响工作和我们的职业生涯？ **未来的 AI：从无所不能到加速一切** 但问题是，AI 带来的真正挑战在于它确实是史无前例且极为深刻的，并且它未来的样子将与今天截然不同。我们都见过 AI，我们都和电脑说过话，而电脑也回复了我们，这是一件新鲜事。过去电脑可不会这么做，但现在它们会了。你和电脑说话，它能理解你，还能回复你，甚至能用语音回复，还能写一些代码。这挺疯狂的。但它也有很多做不到的事情，而且非常不完善。所以你可以说它在很多方面仍需迎头赶上。然而，它的现状已经足够有启发性，让你不禁会问自己，会去想象：好吧，在若干年后——有人说是三年，有人说是五年、十年，各种数字被提出来，因为预测未来有点难——但 AI 会慢慢地，但肯定地，或者也许不是那么慢地，持续进步。总有一天，AI 将能完成我们能做的所有事情。不只是一部分，而是全部。任何我能学会的，任何你们在座的各位能学会的，AI 同样也能做到。我们是怎么知道这点的？我怎么能如此确定呢？原因在于，我们每个人都有一个大脑，而大脑就是一台生物计算机。这就是根本原因。既然我们有一个作为生物计算机的大脑，那么，为什么一台数字计算机，一个“数字大脑”，就不能做同样的事情呢？这就是“AI 终将无所不能”的一句话总结。于是，你可以开始问自己，将会发生什么？当电脑可以完成我们所有的工作时，将会发生什么？这些都是非常重大的问题，是会带来巨变的问题。当你刚开始思考这些问题时，你会觉得，天哪，这有点太强烈了。但这实际上只是其强烈程度的一部分。因为接下来，我们这个集体会想要用这些 AI 来做什么？我们会用它来做更多的工作，发展经济，搞研发，做 AI 研究，以至于在至少一段时间内，进步的速度会变得极其地快。这些都是如此极端且难以想象的事情。 **直面挑战：你们无法忽视的未来** 我现在正试图把你们稍微拉进来一点，拉到这种由 AI 创造的、极其极端和激进的未来思维空间里。但它同时也非常难以想象，很难去内化它，很难在情感层面上真正地相信它。即便是我自己，也为此感到挣扎。然而，逻辑似乎表明，这很可能会发生。那么，在这样一个世界里，一个人该怎么做呢？有这样一句话：“你可以不关心政治，但政治每时每刻都在关心你。” 同样的道理，在 AI 身上要应验许多许多倍。我认为，单单通过使用 AI，看看当今最顶尖的 AI 能做什么，你就能得到一种直觉。并且随着 AI 在一年、两年、三年后不断进步，这种直觉会变得更强。我们现在谈论的很多事情，它们都会变得更加真实，不再那么虚无缥缈。说到底，再多的文章和解释，也比不上我们用自己的感官，用自己的双眼所看到的东西。特别是对于未来那些非常聪明、超级智能的 AI，将会存在一些非常深刻的问题，比如如何确保它们说的是真心话，而不是在伪装。我确实是在这里，在有限的时间里，将大量信息浓缩了起来。但总的来说，只要去关注 AI 能做什么，而不是忽视它，当时机到来时，那将会产生出克服 AI 即将带来的巨大挑战所必需的能量。 **结语：时代赋予的责任** AI 带来的挑战，在某种意义上，是人类有史以来最大的挑战，而克服它也将带来最大的回报。无论你喜不喜欢，你的人生都将在很大程度上受到 AI 的影响。因此，去关注它，去留意它，然后产生出能量去解决那些即将出现的问题，这将是最重要的事情。我就讲到这里。非常感谢大家。谢谢。

#AI浪潮：重塑就业，风险暗涌？· 140 条信息

#AI #Ilya Sutskever #OpenAI #AGI #多伦多大学 #荣誉学位

6个月前

想象一下，你的大脑是一台计算机，只不过它的材料是血肉和神经元，我们称之为「生物计算机」。它能学习、能创造、能思考、能感受。这是我们已知的事实。现在，再想象一下另一台计算机，它的材料是硅和电线，我们称之为「数字计算机」。 AI 先驱、前 OpenAI 首席科学家 Ilya Sutskever 在最近的演讲中，提出了一个看似简单却极具分量的核心逻辑：既然一台「生物计算机」（我们的大脑）能够做到今天人类所能做到的一切，那又有什么根本性的法则，可以阻止一台「数字计算机」（AI）最终也做到这一切呢？这个看似简单的类比，是理解他那句惊人预测——「AI 最终将能完成我们能做的一切事情，不是部分，而是全部」——的关键钥匙。这个想法之所以让人不安，甚至连 Ilya 自己都承认“很难在情感层面完全相信”，是因为它将 AI 的潜力从一个“强大的工具”提升到了一个“不同基质的智慧体”的层面。它不再是我们会不会被某个软件替代的问题，而是我们的“生物算力”所能达到的认知上限，是否也会是“数字算力”的上限。逻辑似乎指向：不会。 Ilya 现身多大毕业演讲 🔽

#生物计算机 #人工智能 #AI发展 #数字计算机 #Ilya Sutskever #前沿科技

6个月前

Ilya Sutskever 在接受多伦多大学的荣誉学位时发表讲话：

#Ilya Sutskever #荣誉学位 #多伦多大学 #人工智能 #现代计算

6个月前

“人工智能带来的挑战是人类有史以来最大的挑战。克服它也将带来最大的回报。” ~ Ilya Sutskever

#人工智能 #挑战 #人类未来 #科技发展 #Ilya Sutskever

6个月前

Ilya Sutskever 说，AI 将接手你的一切。人类真的苦，好不容易到生产力大发展的阶段，还要继续卷，去捍卫自己的生态位置，原本只需要填饱肚子的劳动，现在需要PvP，付出N倍。

#Ilya Sutskever #AI接管 #人类生态位置 #生产力发展 #社会竞争

9个月前

仅有约 10 名员工公司一款产品都没发布成立不到6个月 Ilya Sutskever 公司再获10亿美金投资总融资20亿美金估值达到300亿美金 SSI没有任何产品、收入或公开的技术细节，完全依靠 Sutskever 的个人声誉吸引了约 20 亿美元的投资。 Ilya称正在开发一种和OpenAI 完全不同技术路径的AI模型！ Ilya将 SSI 的目标定为开发“安全超智能”，一种超越 AGI 的系统，不仅在智力上超过人类，还能确保不会对人类构成威胁。他曾对同事表示，他没有沿用 OpenAI 的技术路径，而是探索了一条“不同的攀登之路”。在 2024 年 12 月的 NeurIPS 大会上，他透露已看到“初步成功迹象”，但拒绝提供更多细节。他称：“这种系统可能具有“不可预测性”，甚至可能展现出“轻微意识”。 2024 年 9 月，SSI公司完成了一轮 10 亿美元的种子轮融资，估值 50 亿美元，投资者包括 Sequoia Capital、Andreessen Horowitz 和 DST Global。仅仅五个月后，2025 年 3 月的最新一轮融资将估值推至 300 亿美元，融资金额达到约 20 亿美元。这轮融资由 Greenoaks Capital 领投，该公司投资了 5 亿美元，其他现有投资者追加了资金。这种爆炸式增长令人瞩目，尤其是考虑到 SSI 没有任何产品或收入。一位知情人士透露：“硅谷最热门的投资不是一款应用或硬件，而是Ilya这个人。”风险投资家 James Cham 将其比作一场“高风险赌博”：“这可能是徒劳无功，也可能改变世界。” 目前，SSI 的团队规模很小，仅有约 10 名员工。公司计划利用最新融资招聘更多顶级研究者和工程师。招聘过程异常严格：候选人必须将手机放入法拉第笼以防止信息泄露，并通过多轮面试，测试他们的技术能力和品格。苏茨克维尔亲自参与指导，强调他希望建立一个由使命驱动的团队。 SSI 的运作极为低调。公司在加州帕洛阿尔托和以色列特拉维夫设有办公室，但其官网只有一个简短的 223 字使命声明：“我们的使命是构建安全的超智能系统。这是我们唯一的焦点，没有商业压力干扰。”公司没有社交媒体账户，也没有营销团队，员工被要求不在 LinkedIn 上提及他们的隶属关系。

#Ilya Sutskever #超智能开发 #公司融资 #估值 #AI模型 #OpenAI

腾讯新闻-虎嗅APP

11个月前

对话AI科学家刘威：“Ilya预训练终结论”对中国大模型公司影响不大

出品｜虎嗅科技组作者｜苏子华编辑｜苗正卿题图｜AI生成过去一段时间，“预训练终结”成为了 AI 领域最热烈的讨论之一。OpenAI的GPT系列模型此前大踏步的前进，预训练是核心推动力。而前 OpenAI 首席科学家 Ilya Sutskever、预训练和scaling law（规模定律）最忠实的倡导者，却宣称预训练要终结了、scaling law要失效。由此...

#预训练 #OpenAI #Ilya Sutskever #Scaling law #AI